محققان جدید مقاله از MIT و دانشگاه استنفورد در اواخر این ماه در کنفرانس انصاف ، مسئولیت پذیری و شفافیت ، سه برنامه تحلیل چهره تجاری منتشر شده از شرکتهای بزرگ فناوری را نشان می دهد که هم نوع پوست و هم جنسیت را نشان می دهند.

در آزمایش های محققان ، میزان خطای سه برنامه در تعیین جنسیت مردان دارای پوست سبک هرگز از 0.8 درصد بدتر نبوده است. با این حال ، برای زنان دارای پوست تیره ، میزان خطا در یک مورد به بیش از 20 درصد و در دو مورد دیگر بیشتر از 34 درصد است.

این یافته ها سؤالاتی را در مورد چگونگی آموزش شبکه های عصبی امروزی ، که یاد می گیرند با جستجوی الگوهای در مجموعه های عظیم داده ، وظایف محاسباتی را انجام دهند ، ایجاد می کند. به عنوان مثال ، طبق این مقاله ، محققان یك شركت بزرگ فناوری در ایالات متحده ادعا كردند بیش از 97 درصد برای سیستم تشخیص چهره ای كه خود طراحی كرده اند ، دقت بیشتری دارند. اما مجموعه داده های مورد استفاده برای ارزیابی عملکرد آن بیش از 77 درصد مرد و بیش از 83 درصد سفید بودند.

جوی بولاموینی ، محقق گروه Civic Media Lab و اولین نویسنده مقاله جدید ، می گوید: "آنچه در اینجا بسیار مهم است روش و نحوه استفاده این روش برای سایر برنامه ها است." وی ادامه داد: "همان تکنیک های محور داده ای که می تواند برای تعیین جنسیت شخصی مورد استفاده قرار گیرد ، نیز برای شناسایی شخص هنگام جستجوی مظنون جنایی یا باز کردن قفل گوشی استفاده می شود. و این فقط مربوط به بینایی رایانه نیست. واقعاً امیدوارم که این امر به تلاش بیشتری برای جستجوی اختلافات [دیگر] بپردازد. "

Buolamwini توسط Timnit Gebru ، که دانش آموخته فارغ التحصیل در استنفورد بود ، هنگامی که کار انجام شد ، به روی کاغذ پیوسته است و اکنون یک دکترا در تحقیقات مایکروسافت است.

اکتشافات احتمالی

سه برنامه ای که بولاموینی و Gebru در آن تحقیق کردند سیستم های آنالیز چهره با هدف کلی بود که می تواند برای مطابقت با چهره در عکس های مختلف و همچنین ارزیابی خصوصیاتی از قبیل جنسیت ، سن و روحیه مورد استفاده قرار گیرد. هر سه سیستم طبقه بندی جنسیت را به عنوان یک تصمیم باینری - مرد یا زن - درمان می کردند که عملکرد آنها را برای انجام این کار بسیار آسان می کرد. اما همین نوع تعصب ها احتمالاً عملکرد برنامه ها را بر عهده سایر کارها نیز می گذارد.

در واقع ، این شانس کشف یک تعصب آشکار در ردیابی چهره توسط یکی از برنامه هایی بود که باعث شد تحقیقات بولاموینی در وهله اول انجام شود.

چند سال پیش ، به عنوان دانشجوی فارغ التحصیل در آزمایشگاه رسانه ، بولاموینی مشغول کار روی سیستمی بود که او را "Upbeat Walls" نامیدند ، یک تأسیسات هنری تعاملی و چندرسانه ای که به کاربران امکان می داد با حرکت دادن سر خود ، الگوهای رنگی پیش بینی شده در سطح بازتابی را کنترل کنند. برای ردیابی حرکات کاربر ، سیستم از یک برنامه تحلیل چهره تجاری استفاده می کرد.

اعتبار: موسسه فناوری ماساچوست
تیمی که بولاموینی برای کار در این پروژه مونتاژ کرده بود از نظر اخلاقی متنوع بود ، اما محققان دریافتند که وقتی زمان رسیدن دستگاه به صورت عمومی ارائه شد ، مجبور شدند برای نشان دادن آن به یکی از اعضای تیم سبک تر اعتماد کنند. به نظر نمی رسید که این سیستم با کاربران پوستی تیره تر قابل اعتماد کار کند.

کنجکاو ، بولاموینی ، که سیاه پوست است ، شروع به ارسال عکس هایی از خودش در برنامه های تشخیص چهره تجاری کرد. در چندین مورد ، این برنامه ها نتوانستند عکس ها را به عنوان چهره انسانی به رسمیت بشناسند. وقتی این کار را کردند ، آنها مرتباً جنسیت بولاموینی را طبقه بندی می کردند.

استانداردهای کمی

بولاموینی برای شروع تحقیق در مورد تعصبات برنامه ها به طور سیستماتیک ، مجموعه ای از تصاویر را جمع آوری کرد که در آن زنان و افرادی که دارای پوست تیره هستند بسیار بهتر از آنچه در مجموعه داده ها هستند ، معمولاً برای ارزیابی سیستم های تحلیل چهره استفاده می شوند. مجموعه نهایی شامل بیش از 1200 تصویر بود.

در مرحله بعد ، وی برای جابجایی تصاویر با توجه به مقیاس فیتزپاتریک از رنگ های پوستی ، مقیاس شش نقطه ای ، از نور تا تاریک ، که در ابتدا توسط متخصصین پوست صورت گرفته بود ، به عنوان ابزاری برای ارزیابی خطر آفتاب سوختگی ، با یک جراح پوست کار کرد.

سپس او سه سیستم تحلیل چهره تجاری از شرکتهای بزرگ فناوری را به مجموعه دادههای تازه ساخت خود اعمال کرد. در هر سه مورد ، نرخ خطا برای طبقه بندی جنسیت برای زنان بیشتر از مردان بود ، و برای افراد دارای پوست تیره نسبت به افراد دارای پوست سبک تر به طور مداوم بیشتر بود.

در مورد زنان دارای پوست تیره - نمرات IV ، V یا VI در مقیاس Fitzpatrick - میزان خطا 20.8 درصد ، 5/34٪ و 34.7 بود. اما با وجود دو سیستم ، نرخ خطای مربوط به تاریک ترین زنان در مجموعه داده ها - کسانی که نمره VI داده می شوند- از این بدتر بودند: 46.5 درصد و 46.8 درصد. اساساً ، برای این زنان ، سیستم نیز ممکن است جنسیت را بطور تصادفی حدس زده باشد.

شما باید بپرسید که اگر در یک سیستم تجاری یک یا سه در یک سیستم تجاری شکست بخورید ، در مورد چیزی که به یک کار طبقه بندی دودویی کاهش یافته است ، باید بپرسید ، آیا اگر آن نرخ شکست در زیر گروه دیگری قرار داشت ، مجاز بود؟ بولاموینی می گوید. "درس بزرگ دیگر ... این است که معیارهای ما ، معیارهایی که با آن موفقیت را اندازه می گیریم ، خودشان می توانند حس دروغین پیشرفت را به ما دهند."

روچیر پوری ، معمار ارشد سیستم هوش مصنوعی واتسون IBM ، گفت: "این منطقه ای است كه مجموعه داده ها تأثیر زیادی بر آنچه كه برای مدل می افتد ، می گذارد. وی گفت: "اکنون ما یک مدل جدید داریم که ارائه کردیم که از نظر دقت در معیارهایی که جوی به دنبالش بود بسیار متعادل تر است. این فیلم دارای نیم میلیون تصویر با انواع متعادل است و ما یک شبکه عصبی اساسی متفاوتی داریم. بسیار قوی تر. "

وی می افزاید: "انجام این کارها برای ما زمان می برد." وی گفت: "ما تقریباً هشت تا نه ماه در این زمینه کار کردیم. نکات بسیار مهم ، و ما باید ببینیم که کار جدید ما در برابر آنها قرار دارد. "